La struttura, progettata da Max Abramovitz, fu originariamente chiamata Philharmonic Hall e fu ribattezzata Avery Fisher Hall in onore del filantropo Avery Fisher, che aveva donato $ 10,5 milioni all'orchestra nel 1973. Nel novembre 2014 i funzionari del Lincoln Center annunciarono che il nome di Fisher sarebbe stato rimosso dalla sala in modo che i diritti di denominazione potessero essere venduti al miglior offerente, come parte di una campagna di raccolta fondi $ 500.000.000 per ristrutturare la Sala. David Geffen donò $ 100 milioni di dollari per dare alla sala il proprio nome. L'impianto è stato rinominato David Geffen Hall nel 2015.

 

La sala ha subito lavori di ristrutturazione nel 1976 per affrontare i problemi acustici che esistevano sin dalla sua apertura. Un altro aggiornamento minore ha tentato di affrontare i problemi irrisolti nel 1992. Entrambi i progetti hanno raggiunto un successo limitato.

 

Nel maggio 2004 l'orchestra annunciò che l'edificio avrebbe subito lavori di ristrutturazione nel 2009, ma nel giugno 2006, il New York Times riferiva che la costruzione era stato ritardata fino all'estate del 2010. Entro il 2012 divenne chiaro che la costruzione non sarebbe iniziata prima del 2017. l'involucro dell'edificio sarà lasciato intatto e il lavoro si concentrerà sul miglioramento dell'acustica della sala, la modernizzazione dei servizi per il pubblico e sulla riconfigurazione dell'auditorium.

 

Il 13 novembre 2014 i funzionari del Lincoln Center annunciarono la loro intenzione di togliere il nome di Avery Fisher dalla sala e vendere i diritti sul nome al miglior offerente, come parte di una campagna di raccolta fondi di $ 500.000.000 per la sua ristrutturazione. La presidente del Lincoln Center, Katherine Farley, ha dichiarato: "Sarà l'occasione per un grande nome su un grande gioiello di New York." I tre figli di Fisher hanno deciso di concludere l'affare per $ 15 milioni.

 

Gli architetti ingaggiarono la divisione di consulenza acustica di Bolt, Beranek and Newman (BBN) per progettare l'acustica interna originale della sala. I loro esperti di acustica consigliarono un progetto "scatola da scarpe" di 2.400 poltroncine con lati paralleli ravvicinati (simile nella forma alla Symphony Hall di Boston, molto elogiata sotto il profilo acustico). I funzionari del Lincoln Center inizialmente concordarono con la raccomandazione e BBN fornirono una serie di specifiche di progetto e raccomandazioni. Tuttavia il New York Herald Tribune iniziò una campagna per aumentare la capacità della nuova sala e alla fine della fase di progettazione fu ampliata per accogliere i desideri dei critici, invalidando gran parte del lavoro acustico di BBN. Gli ingegneri BBN dissero all'amministrazione del Lincoln Center che la sala avrebbe avuto una sonorità diversa dal loro intento iniziale, ma non potevano prevedere ciò che i cambiamenti avrebbero prodotto.

 

Il primo degli edifici del Lincoln Center ad essere completato, la Philharmonic Hall aprì il 23 settembre 1962, con recensioni contrastanti. Il concerto, con Leonard Bernstein, la New York Philharmonic e numerose stelle dell'opera, come Eileen Farrell e Robert Merrill, fu trasmesso in diretta sulla CBS. La settimana di concerti di apertura comprendeva le esibizioni di una lista di orchestre ospiti appositamente invitate (Boston, Philadelphia e Cleveland), che regolarmente apparivano alla Carnegie Hall ogni stagione ed anche l'orchestra stabile della nuova sala. Diversi giornalisti stroncarono la sala, mentre almeno due direttori elogiarono l'acustica. Mentre l'intenzione iniziale era stata che la Philharmonic Hall avrebbe sostituito la Carnegie Hall, che avrebbe potuto in seguito essere demolita, questo progetto non si verificò.

 

L'amministrazione fece diversi tentativi per rimediare ai problemi acustici indotti, con scarso successo, fino a giungere ad un sostanziale rinnovo nel 1970, progettato dall'ingegnere acustico Cyril Harris, in collaborazione con l'architetto del progetto Philip Johnson. Era compresa la demolizione dell'interno della sala, vendendo il suo organo a canne alla Congregazione della cattedrale di cristallo in California e la ricostruzione di un nuovo auditorium, all'interno della struttura e della facciata. Mentre la reazione iniziale ai miglioramenti fu favorevole ed alcuni sostenitori rimasero risoluti, il sentimento generale sulla sonorità del nuovo padiglione era sfavorevole e l'acustica continuò ad essere problematica. 

 

Nel 1992 sotto il mandato di Kurt Masur con la New York Philharmonic, diverse superfici concave in legno massello di acero sono stati installati sulle pareti laterali e sospese al soffitto del palco per migliorare l'acustica. L'acero è stato appositamente selezionato per ridurre al minimo la sua venatura. I nuovi componenti sono riempiti di fibra di vetro per attutire le vibrazioni.

 

I problemi in corso con l'acustica della sala finirono per condurre la Filarmonica di New York a prendere in considerazione una fusione con la Carnegie Hall nel 2003, che avrebbe restituito la Philharmonic alla Carnegie Hall per la maggior parte dei suoi concerti di ogni stagione. Tuttavia, entrambe le parti hanno abbandonato i colloqui dopo quattro mesi.

 

A partire dal 2005 (e continuando nel 2006), il Festival Mostly Mozart ha sperimentato l'estensione del palco per l'orchestra del Mostly Mozart più lontano dal palco principale fino alle poltroncine, per la stagione estiva del Festival.